2024년 8월 일지

2024년 8월 일지

회고

2024 썸머 나이트 런에 참가했다. 완주는 했는데 날이 너무 더웠다.

OpenAI 모델이 구조화된 출력을 지원하기 시작했다. JSON 스키마를 부분적으로 지원한다.

너무 덥고 사람도 지나치게 많았다. 더위로 쓰러지는 사람들이 속출했고 구급차가 많이 왔었다. 나중에 참가비를 전액 환불해줌.

Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of LLMs를 읽었다. 구조화된 출력을 하면 모델 성능이 떨어질 수 있다는 연구. 지금은 그렇겠지만 앞으로 애초에 구조화된 출력을 잘하게끔 트레이닝을 시키면 점차 나아질 것으로 보인다.

어제 OpenAI가 구조화된 출력 기능을 추가했다. 사용자가 제공한 JSON 스키마로부터 CFG를 만들고 토큰 샘플링 단계에서 부적절한 토큰이 선택되지 못하게 막는 방식